Sau khi tốt nghiệp Đại học Cảnh sát nhân dân, ông được phân công về công tác tại Công an tỉnh Bình Trị Thiên.[6]

Năm 1981, khi 27 tuổi, ông giữ chức Phó phòng PC14 Công an tỉnh Bình Trị Thiên.

Năm 1988, ông là Phó Trưởng ban chỉ huy Cảnh sát Bình Trị Thiên.

Ngày 30 tháng 6 năm 1989, tỉnh Bình Trị Thiên tái chia tách thành 3 tỉnh Quảng Bình, Quảng Trị và Thừa Thiên - Huế.

Trong năm này, Cao Ngọc Oánh giữ chức Phó Giám đốc Công an tỉnh Quảng Bình.

Năm 1995, ông giữ chức Giám đốc Công an tỉnh Quảng Bình.

Năm 2000, Cao Ngọc Oánh được điều chuyển từ vị trí Giám đốc công an tỉnh Quảng Bình ra làm Cục trưởng Cục Cảnh sát kinh tế thuộc Bộ Công an. Cao Ngọc Oánh đã đảm nhiệm chức vụ Thủ trưởng Cơ quan điều tra và đã xử lý nhiều vụ án tham nhũng và buôn lậu lớn như: Lã Thị Kim Oanh, các vụ trốn thuế lớn.[7]

Năm 2001, ông được bổ nhiệm chức Phó Tổng cục trưởng Tổng cục Cảnh sát.

Năm 2003, ông giữ chức Thủ trưởng Cơ quan Cảnh sát điều tra Bộ Công an.

Bị nghi oan

Đầu năm 2006, khi đương chức Thủ trưởng Cơ quan Cảnh sát điều tra Bộ Công an, ông bị nghi oan tham gia vào đường dây chạy án vụ PMU 18 khi ông cùng ông Đoàn Mạnh Giao (Bộ trưởng, Chủ nhiệm Văn phòng Chính phủ) cùng một số quan chức các bộ khác dự bữa cơm tại khách sạn Melia (Hà Nội) với Dũng "Huế" (tức Tôn Anh Dũng), một người đồng hương (ở hai làng gần nhau trong cùng một huyện dù khác xã[8]), một đối tượng chạy án.[3] Trước đó, ông đã được bầu làm đại biểu Đại hội Đảng Cộng sản Việt Nam lần thứ 10 và được dự kiến vào danh sách bầu Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá X và thứ trưởng Bộ Công an. Do vụ việc xảy ra gần trước thời điểm Đại hội diễn ra nên dù vẫn khẳng định mình vô tội nhưng ông đã xin rút khỏi danh sách đại biểu dự đại hội.[7][9] Ngày 14 tháng 4 năm 2006, Bộ Chính trị Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam đã chấp thuận với đề nghị của Đảng ủy Bộ Công an, cho phép ông Cao Ngọc Oánh rút khỏi danh sách đại biểu Bộ Công an tham dự Đại hội Đảng toàn quốc lần thứ X.[10]

Bốn tháng sau khi Tôn Anh Dũng bị bắt, ngày 19 tháng 7 năm 2006, theo chỉ đạo của Thủ tướng Chính phủ, Bộ trưởng Bộ Công an đã quyết định đình chỉ các chức vụ Tổng cục phó Tổng cục Cảnh sát và Thủ trưởng cơ quan điều tra của ông và chuyển ông qua làm chuyên viên Cục lưu trữ của Bộ Công an.[4][5][11]

Sau đó, ngày 25 tháng 1 năm 2007, Cao Ngọc Oánh được lãnh đạo Tổng cục cảnh sát kết luận là không dính dáng vào vụ chạy án và được bổ nhiệm giữ chức Phó Tổng cục trưởng Tổng cục Kỹ thuật,[7][12]

Theo bản kết luận điều tra, ngày 14/12/2005, Tôn Anh Dũng, nhân viên Tổng Công ty Sông Đà,[8] đã nhận 30.000 USD của Bùi Tiến Dũng tại khách sạn Guoman, phố Lý Thường Kiệt, Hà Nội nhằm chạy án cho Bùi Tiến Dũng và Bùi Quang Hưng. Do quen biết với Thiếu tướng Cao Ngọc Oánh (đồng hương cùng huyện, quen từ khoảng năm 2002[8]) nên Tôn Anh Dũng đã hai lần tiếp cận ông tại nhà riêng và một lần tại khách sạn Melia với ý định hối lộ chạy án, nhưng "do thái độ nghiêm khắc của ông Cao Ngọc Oánh, nên Tôn Anh Dũng rất sợ, không thực hiện được hành vi đưa hối lộ." Số tiền 30.000 USD này Tôn Anh Dũng đã chi phí cho việc chữa bệnh của con mình ở Thái Lan, và sau đó đã nộp lại cho Cơ quan điều tra.[13] Trong thời gian Tôn Anh Dũng ở Thái Lan, trước khi Bùi Tiến Dũng bị bắt, tướng Oánh đã gọi 89 cuộc điện thoại cho Tôn Anh Dũng để hỏi thăm động viên chuyện chữa bệnh ung thư của con Tôn Anh Dũng.[8][10]

Chiều ngày 3 tháng 8 năm 2007, Dũng Huế đã bật khóc và xin lỗi tướng Oánh trước tòa vì khiến ông bị nghi oan.[14][15]

Có dư luận cho rằng, đây có thể là một cuộc đấu đá nội bộ tranh giành quyền lực trước thời điểm Đại hội X do Cao Ngọc Oánh đã được cơ cấu lên làm Thứ trưởng Bộ Công an, được nội bộ Bộ Công an và cấp trên tín nhiệm cao, được thăng hàm cũng như khen thưởng. Tuy nhiên, lãnh đạo Thường vụ Đảng ủy Tổng cục Cảnh sát Bộ Công an khẳng định không có khả năng đấu đá nội bộ trong vụ này.[16]

Sau khi được minh oan

Ngày 25 tháng 1 năm 2007, Cao Ngọc Oánh được lãnh đạo Tổng cục cảnh sát kết luận là không dính dáng vào vụ chạy án và được bổ nhiệm giữ chức Phó Tổng cục trưởng Tổng cục Kỹ thuật,[7][12] sau đó là Quyền Tổng cục trưởng Tổng cục Kỹ thuật thuộc Bộ Công an. Tháng 6 năm 2008, ông được Thủ tướng Chính phủ Việt Nam phong hàm Trung tướng.

Ngày 14 tháng 11 năm 2008, ông được Thủ tướng Chính phủ bổ nhiệm giữ chức Tổng cục trưởng Tổng cục Kỹ thuật, Bộ Công an.[17]

Tháng 12 năm 2009, ông Cao ngọc Oánh được điều về giữ chức Tổng cục trưởng Tổng cục Cảnh sát Thi hành án hình sự và Hỗ trợ Tư pháp, một tổng cục được thành lập trên cơ sở Cục Cảnh sát Trại giam, Cơ sở giáo dục, trường giáo dưỡng và bộ phận hỗ trợ tư pháp của Tổng cục Cảnh sát theo Nghị định 77 của Chính phủ.

Ngày 1 tháng 11 năm 2014, trung tướng Cao Ngọc Oánh nghỉ hưu chế độ theo quyết định của Thủ tướng Chính phủ Việt Nam.